事情互联网（物联网）正处于重大范式转变的边缘。在未来的IOT系统中，IOFT，云将被人群代替模型训练被带到边缘的人群，允许IOT设备协作提取知识并构建智能分析/型号，同时保持本地存储的个人数据。这种范式转变被IOT设备的计算能力巨大增加以及分散和隐私保留模型培训的最近进步，作为联合学习（FL）。本文为IOFT提供了愿景，并系统概述当前努力实现这一愿景。具体而言，我们首先介绍IOFT的定义特征，并讨论了三维内部的分散推断的流动方法，机会和挑战：（i）全局模型，最大化跨所有IOT设备的实用程序，（ii）个性化模型所有设备的借款强度都保留了自己的模型，（iii）一个迅速适应新设备或学习任务的元学习模型。通过描述Ioft通过域专家镜头重塑不同行业的愿景和挑战来结束。这些行业包括制造，运输，能源，医疗保健，质量和可靠性，商业和计算。
translated by 谷歌翻译
成本敏感的分类对于错误分类错误的成本差异很大，至关重要。但是，过度参数化对深神经网络（DNNS）的成本敏感建模构成了基本挑战。 DNN完全插值训练数据集的能力可以渲染DNN，纯粹在训练集上进行评估，无效地区分了成本敏感的解决方案和其总体准确性最大化。这需要重新思考DNN中的成本敏感分类。为了应对这一挑战，本文提出了一个具有成本敏感的对抗数据增强（CSADA）框架，以使过度参数化的模型成本敏感。总体想法是生成针对性的对抗示例，以推动成本感知方向的决策边界。这些有针对性的对抗样本是通过最大化关键分类错误的可能性而产生的，并用于训练一个模型，以更加保守的对成对的决策。公开可用的有关著名数据集和药物药物图像（PMI）数据集的实验表明，我们的方法可以有效地最大程度地减少整体成本并减少关键错误，同时在整体准确性方面达到可比的性能。
translated by 谷歌翻译
在本文中，我们应对PCA：异质性的重大挑战。当从不同趋势的不同来源收集数据的同时仍具有一致性时，提取共享知识的同时保留每个来源的独特功能至关重要。为此，我们提出了个性化的PCA（PERPCA），该PCA（PERPCA）使用相互正交的全球和本地主要组件来编码唯一的和共享的功能。我们表明，在轻度条件下，即使协方差矩阵截然不同，也可以通过约束优化问题来识别和恢复独特的和共享的特征。此外，我们设计了一种完全由分布式stiefel梯度下降来解决问题的完全联合算法。该算法引入了一组新的操作，称为通用缩回，以处理正交性约束，并且仅要求跨来源共享全局PC。我们证明了在合适的假设下算法的线性收敛。全面的数值实验突出了PERPCA在特征提取和异质数据集预测方面的出色性能。作为将共享和唯一功能从异质数据集解除共享和独特功能的系统方法，PERPCA在几种任务中找到了应用程序，包括视频细分，主题提取和分布式聚类。
translated by 谷歌翻译
机器学习（ML）代表了当前和未来信息系统的关键技术，许多域已经利用了ML的功能。但是，网络安全中ML的部署仍处于早期阶段，揭示了研究和实践之间的显着差异。这种差异在当前的最新目的中具有其根本原因，该原因不允许识别ML在网络安全中的作用。除非广泛的受众理解其利弊，否则ML的全部潜力将永远不会释放。本文是对ML在整个网络安全领域中的作用的首次尝试 - 对任何对此主题感兴趣的潜在读者。我们强调了ML在人类驱动的检测方法方面的优势，以及ML在网络安全方面可以解决的其他任务。此外，我们阐明了影响网络安全部署实际ML部署的各种固有问题。最后，我们介绍了各种利益相关者如何为网络安全中ML的未来发展做出贡献，这对于该领域的进一步进步至关重要。我们的贡献补充了两项实际案例研究，这些案例研究描述了ML作为对网络威胁的辩护的工业应用。
translated by 谷歌翻译
随着边缘设备变得越来越强大，数据分析逐渐从集中式转移到分散的制度，在该制度中，利用边缘计算资源以在本地处理更多数据。这种分析制度被认为是联合数据分析（FDA）。尽管FDA最近有成功的案例，但大多数文献都专注于深度神经网络。在这项工作中，我们退后一步，为最基本的统计模型之一开发了FDA处理：线性回归。我们的处理是建立在层次建模的基础上，该模型允许多个组借用强度。为此，我们提出了两个联合的层次模型结构，它们在跨设备之间提供共享表示以促进信息共享。值得注意的是，我们提出的框架能够提供不确定性量化，可变选择，假设测试以及对新看不见数据的快速适应。我们在一系列现实生活中验证了我们的方法，包括对飞机发动机的条件监控。结果表明，我们对线性模型的FDA处理可以作为联合算法未来开发的竞争基准模型。
translated by 谷歌翻译
在本文中，我们提出\ texttt {fgpr}：一个联合高斯进程（$ \ mathcal {gp} $）回归框架，它使用了用于本地客户端计算的模型聚合和随机梯度血缘的平均策略。值得注意的是，由此产生的全局模型在个性化中excels作为\ texttt {fgpr}共同学习所有客户端之前的全局$ \ mathcal {gp} $。然后通过利用该本地数据来获得预测后的后退，并在从特定客户端编码个性化功能的本地数据获得。从理论上讲，我们显示\ texttt {fgpr}会聚到完整对数似然函数的关键点，但符合统计误差。通过广泛的案例研究，我们展示了\ TextTT {FGPR}在广泛的应用中擅长，并且是隐私保留多保真数据建模的有希望的方法。
translated by 谷歌翻译
随机梯度下降（SGD）及其变体已经建立为具有独立样本的大型机器学习问题的进入算法，由于其泛化性能和内在的计算优势。然而，随机梯度是具有相关样本的全梯度的偏置估计的事实导致了对SGD在相关环境中的表现和阻碍其在这种情况下使用的理解缺乏理论理解。在本文中，我们专注于高斯过程（GP）的近似参数估计，并通过证明小纤维SGD收敛到完整日志似然丢失功能的关键点来打破屏障的一步，并恢复速率$率的模型超参数o（\ frac {1} {k}）$ k $迭代，达到统计误差术语，具体取决于小靶大小。我们的理论担保仍然存在，内核功能表现出指数或多项式EIGENDECAY，这是通过GPS常用的各种核的满足。模拟和实时数据集的数值研究表明，Minibatch SGD在最先进的GP方法上具有更好的推广，同时降低了计算负担并开启了GPS的新的，先前未开发的数据大小制度。
translated by 谷歌翻译
数字商务泛化的黑暗面是欺诈尝试的增加。为防止任何类型的攻击，现代最先进的欺诈检测系统现在嵌入机器学习（ML）模块。这种模块的概念仅在研究水平上传达，论文主要关注孤立的基准数据集和度量的结果。但研究只是旅程的一部分，前面是业务问题的正确制定以及数据集合，然后是实际集成。在本文中，我们对该过程进行了更广泛的愿景，就转让学习进行欺诈检测，从企业进行研究，回到业务。
translated by 谷歌翻译
Lookahead，也称为非洋流，贝叶斯优化（BO）旨在通过解决动态程序（DP）来找到最佳的采样策略，从而最大程度地利用滚动地平线获得长期奖励。尽管很有希望，但Lookahead Bo通过增加对可能错误指定模型的依赖而面临错误传播的风险。在这项工作中，我们专注于用于解决棘手的DP的推出近似值。我们首先证明了推出在解决LookAhead BO方面的提高性质，并提供了足够的条件，可以使使用的启发式效果提高推广。然后，我们提供一个理论和实用的指南来决定滚动地平线阶段。该指南基于量化错误指定模型的负面影响。为了说明我们的想法，我们提供了有关单一和多信息源BO的案例研究。经验结果表明，我们方法比几种近视和非侧视算法的优势性能。
translated by 谷歌翻译